Lovren sinh ra tại thành phố Zenica (nay thuộc Bosnia và Herzegovina). Năm anh 3 tuổi, cả gia đình phải chuyển đến Munich, Đức do chiến tranh tại quê nhà. Trưởng thành từ nhà trẻ Munich, Lovren dần nói thông viết thạo tiếng Đức. Bảy năm sau khi đến Đức, gia đình Lovren bị buộc phải rời đi bởi thị thực hết hạn và họ đã đến thành phố Karlovac của Croatia.[33] Lovren ban đầu cảm thấy khó khăn với cuộc sống tại Croatia, nhất là việc học trong nhiều năm do anh không quen với tiếng Croatia.[34]

Lovren còn một người em trai cũng theo sự nghiệp cầu thủ là Davor.[35]